В 1162 году Андрей Боголюбский выгнал из своей волости вдову отца, княгиню Ольгу, вместе с ее детьми. Изгнанники поехали в Грецию, где были радушно встречены императором Мануилом. Старшие братья и мать Всеволода так и остались там, но Всеволод некоторое время спустя возвратился на Русь и, как можно предполагать, получил от брата Михаила Городец Остерский.